Ông sinh ngày 28 tháng 5 năm 1910 trong một gia đình nhà nho ở Hà Nội. Tuy nhiên, từ nhỏ, ông được giáo dục theo Tây học, từ năm 10 tuổi, ông đã bắt đầu làm quen và học chơi đàn cello.[1]

Khi lên bậc trung học, ông được gia đình cho theo học tại Trường Bưởi (Hà Nội)[1]. Cuối năm 1928[2], một người Pháp là Belinski[3] xin phép Toàn quyền Đông Dương Piere Pasquier cho mở một trường dạy nhạc tại Hà Nội và mời một số giáo sư các bộ môn violon, cello, contrebasse và piano ở Pháp sang giảng dạy[1]. Năm 1929, Nhạc viện Pháp quốc Viễn Đông (Concervatoire Français d'Extrême-Orient) bắt đầu khai giảng với 14 học viên đầu tiên và tất cả đều có học bổng. Giáo trình gồm các môn nghiên cứu âm nhạc cổ điển phương Tây, học các loại nhạc cụ như piano, viôlông, cello, và contrabasse cũng như xướng âm và nhạc lý [4]. Do nhạc cụ Tây phương bấy giờ khá hiếm hoi, nên các học viên được mượn đàn để học.[1]

Bấy giờ, ông cùng với người em trai Phạm Huy Kỳ (sau này cũng là một nhạc sĩ danh tiếng) trốn gia đình theo học[1]. Ông học cello, còn ông Kỳ học violon. Ngoài ra, còn có một số học viên khác như Nguyễn Xuân Khoát (Violon và Contrebasse), Lưu Quang Duyệt (Violon và Piano), Đỗ Tình (Violon), Phạm Đăng Hinh (Violon)…[5] Những học viên của trường trở thành những người Việt Nam đầu tiên nhận được những kiến thức có tính hệ thống trong âm nhạc phương Tây và là người mà trong tình hình có khả năng hiểu biết tương đối khá về năng lực trong ký âm và nhạc lý[4]. Tuy nhiên, đến năm 1930, trường nhạc đóng cửa do ảnh hưởng của suy thoái kinh tế toàn thế giới.[4]

Tuy vậy, sự đam mê nghệ thuật âm nhạc của hai anh em ông không vì thế mà dừng lại. Cũng trong năm 1930, khi gia đình gửi sang Pháp học y dược thì cả hai ông trốn gia đình để vào học tại Nhạc viện Toulouse (Pháp).[1]

Sau khi về nước, do nền Tân nhạc Việt Nam chưa phát triển nên hai ông phải bỏ nghề. Theo nguyện vọng của gia đình, ông vào học tại khoa Y Dược (Faculté mixte de Médecine et de Pharmacie) Viện Đại học Hà Nội (Université de Hanoi). Sau khi tốt nghiệp ra trường, ông hành nghề dược sĩ để sinh kế.[1]